# 在 Django 项目的某个 app 下创建一个叫 `crawler.py` 的文件

import requests
from bs4 import BeautifulSoup


def fetch_news():
    url = 'http://cfnews.com.cn/diyixianchang.html'

    # 发送GET请求来获取网页内容
    response = requests.get(url)

    # 检查请求是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析网页内容
        soup = BeautifulSoup(response.text, 'html.parser')
        news_list = []
        # 提取你需要的信息，这里假设你想提取文章标题和文章链接
        for article in soup.find_all('div', class_='media-body'):
            title = article.find('h3').text.strip()
            link = article.find('a')['href']
            if not link.startswith('http'):
                link = 'http://cfnews.com.cn' + link
            news_list.append({'title': title,'link': link})
        return news_list
    else:
        return []





